How Transparent is DiffusionGemma?
扩散Gemma透明度如何？
🧭 扩散模型透明度分析
Google DeepMind
通过token瓶颈使扩散LLM透明度媲美自回归模型，并揭示扩散特有推理现象
📌 工作参考价值（4 点）
- 扩散模型中插入可解释token瓶颈（token bottleneck）可在不牺牲性能的前提下，使中间隐状态映射为可读token序列，显著降低不透明串行深度，可迁移至扩散式生成推荐（如物品序列生成）中实现可解释的中间步骤。
- 扩散模型输出概率监控性（monitorability）与自回归模型相当，因此下游任务（如异常检测、置信度过滤、主动学习）对扩散生成结果的可干预性不受影响，实践中可放心复用自回归模型的监控方法。
- 扩散模型可能出现非时序推理（non-chronological reasoning）和token涂抹（smearing）等现象，依赖生成顺序的可解释性不可靠，设计基于扩散的对话Agent或规划系统时应谨慎对待中间推理踪迹，考虑其他验证机制。
- 算法透明度方面的退化提示，扩散模型内部可能执行复杂分布式算法，需警惕在安全敏感场景中仅靠输出概率不足以理解模型行为，建议结合额外探测手段。